Never the Number: Structural Abstention for AI Systems Whose Answers Are Consumed as Fact
永不碰数字:面向事实型答案 AI 系统的结构化弃权架构
🧭 LLM 可靠性 · 结构化弃权
用确定性内核与生成外壳解耦,生成组件只影响问题解释不碰返回值,无法表达请求直接拒绝,从结构上避免 LLM 事实性幻觉
📌 工作参考价值(4 点)
- 在电商/广告的自然语言数据问数、指标看板、运营机器人中,把“数值/聚合结果”与“自然语言解释”拆开:生成模块只负责 paraphrase、确认语义,数值由确定性 SQL/指标内核计算,避免 fluent wrong answer。
- 建立 bounded set of answerable question shapes,把 LLM 的输入映射到有限查询模板;不能映射的请求直接拒绝或让用户重新表述,而不是让 LLM 兜底生成近似答案,尤其适用客服、价格/库存/预算等高风险查询。
- Agent 系统中可复用到工具调用与策略动作:LLM 只负责路由、生成确认问题和措辞,不参与最终执行参数计算;对写操作/策略参数使用确定性决策层,降低工具误用与事实性污染。
- 五决策配方可作为 human-in-the-loop confirmation 设计参考:在展示数值前先让用户确认问题语义,把不可结构化表达的需求排除在计算之前,提升生产系统可信度。